Vào tháng 9 năm 2004, Jürgen Klinsmann, huấn luyện viên của đội tuyển Đức, đã triệu tập Mertesacker cho trận đấu vào ngày 9 tháng 10 năm 2004 gặp Iran. Anh có màn ra mắt ở đội tuyển quốc gia chưa đầy hai tuần sau sinh nhật lần thứ 20 khi anh vào sân trong hiệp hai để thay thế cho Christian Wörns.

Là một cầu thủ trầm tĩnh nhưng hiệu quả, anh đã trở thành sự lựa chọn hàng đầu ở vị trí trung vệ của đội tuyển Đức,[28] đá cặp với Robert Huth, Christoph Metzelder, và sau đó là Heiko Westermann. Tại Confederations Cup 2005 tổ chức trên sân nhà, anh đã thi đấu trọn vẹn 90 phút trong cả năm trận của đội tuyển Đức và ghi được một bàn thắng ở vòng bảng, tại giải đấu đó tuyển Đức đã giành được vị trí thứ ba.[29]

Tại World Cup 2006 trên sân nhà, Mertesacker kết hợp cùng với Metzelder ở trung tâm hàng phòng ngự. Sau khi tuyển Đức giành chiến thắng ở trận tứ kết sau loạt sút penalty trước Argentina, Mertesacker đã bị tấn công bởi một cầu thủ dự bị bên phía Argentina, Leandro Cufré. Anh đã bị một chấn thương nhẹ ở bắp đùi và nhận một cú đá vào háng. Sau khi tuyển Đức để thua trước tuyển Ý ở bán kết, Mertesacker đã phẫu thuật một bên chân và tinh hoàn ở bên trái (không liên quan đến vụ tấn công trên, nhưng là một chấn thương mà anh mắc phải ở các trận đấu trước đó) và phải bỏ lỡ trận tranh hạng ba. Tuy nhiên, màn trình diễn ấn tượng của anh đã tạo điều kiện cho anh chuyển đến thi đấu cho gã khổng lồ của Bundesliga, Werder Bremen, sau giải đấu này.

Anh là sự lựa chọn hàng đầu trong suốt chiến dịch vòng loại Euro 2008 và đá chính trong tất cả các trận đấu của tuyển Đức ở vòng chung kết. Do những vấn đề chấn thương ở đầu mùa giải 2009-10, anh đã bỏ lỡ một vài trận ở chiến dịch vòng loại World Cup 2010 nhưng anh vẫn giữ được vị trí số một ở hàng phòng ngự sau khi bình phục chấn thương. Mertesacker ghi bàn thắng thứ hai của anh cho đội tuyển Đức vào ngày 17 tháng 10 năm 2012 trong trận đấu với Thụy Điển.[30] Mertesacker thường xuyên mặc áo số 17 ở đội tuyển. Tính đến tháng 6 năm 2013, anh đã có 101 lần khoác áo đội tuyển Đức.[31]

Sau khi đội tuyển Đức giành chức vô địch World Cup 2014, Per Mertesacker tuyên bố chia tay đội tuyển quốc gia sau 10 năm gắn bó, tổng cộng anh đã thi đấu 104 trận và ghi được 4 bàn thắng.